The formalization of existing mathematical proofs is a notoriously difficult process. Despite decades of research on automation and proof assistants, writing formal proofs remains arduous and only accessible to a few experts. While previous studies to automate formalization focused on powerful search algorithms, no attempts were made to take advantage of available informal proofs. In this work, we introduce Draft, Sketch, and Prove (DSP), a method that maps informal proofs to formal proof sketches, and uses the sketches to guide an automated prover by directing its search to easier sub-problems. We investigate two relevant setups where informal proofs are either written by humans or generated by a language model. Our experiments and ablation studies show that large language models are able to produce well-structured formal sketches that follow the same reasoning steps as the informal proofs. Guiding an automated prover with these sketches enhances its performance from 20.9% to 39.3% on a collection of mathematical competition problems.
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
持续学习（CL，有时也称为增量学习）是机器学习的一种味道，在该口味中，通常会放松或省略固定数据分布的通常假设。当天然应用时，例如CL问题中的DNNS时，数据分布的变化会导致所谓的灾难性遗忘（CF）效应：突然丧失了先前的知识。尽管近年来已经为启用CL做出了许多重大贡献，但大多数作品都解决了受监督的（分类）问题。本文回顾了在其他环境中研究CL的文献，例如通过减少监督，完全无监督的学习和强化学习的学习。除了提出一个简单的模式用于分类CL方法W.R.T.他们的自主权和监督水平，我们讨论了与每种设置相关的具体挑战以及对CL领域的潜在贡献。
translated by 谷歌翻译
已知应用于任务序列的标准梯度下降算法可在深层神经网络中产生灾难性遗忘。当对序列中的新任务进行培训时，该模型会在当前任务上更新其参数，从而忘记过去的知识。本文探讨了我们在有限环境中扩展任务数量的方案。这些方案由与重复数据的长期任务组成。我们表明，在这种情况下，随机梯度下降可以学习，进步并融合到根据现有文献需要持续学习算法的解决方案。换句话说，我们表明该模型在没有特定的记忆机制的情况下执行知识保留和积累。我们提出了一个新的实验框架，即Scole（缩放量表），以研究在潜在无限序列中的知识保留和算法的积累。为了探索此设置，我们对1,000个任务的序列进行了大量实验，以更好地了解这种新的设置家庭。我们还提出了对香草随机梯度下降的轻微修改，以促进这种情况下的持续学习。 SCOLE框架代表了对实用训练环境的良好模拟，并允许长序列研究收敛行为。我们的实验表明，在短方案上以前的结果不能总是推断为更长的场景。
translated by 谷歌翻译
队列研究越来越多地使用加速度计进行体育活动和久坐行为估计。这些设备往往比自我报告易于错误，可以全天捕获活动，并且是经济的。但是，在自由生活的情况下和受试者对象变化下，基于髋关节wor的数据估算久坐行为的先前方法通常是无效的或次优的。在本文中，我们提出了一个本地马尔可夫切换模型，该模型考虑了这种情况，并引入了一种姿势分类和久坐行为分析的一般程序，该程序自然适合该模型。我们的方法在时间序列中具有更改点检测方法，也是一个两个阶段分类步骤，将数据标记为3类（坐着，站立，步进）。通过严格的训练测试范例，我们表明我们的方法达到了80％的精度。此外，我们的方法是强大的，易于解释。
translated by 谷歌翻译
2022-07-02
人工智能（AI）的价值分配问题询问我们如何确保人造系统的“价值”（即，客观函数）与人类的价值一致。在本文中，我认为语言交流（自然语言）是稳健价值对齐的必要条件。我讨论了这一主张的真相对试图确保AI系统价值一致的研究计划所带来的后果；或者，更谨慎地设计强大的有益或道德人造代理。
translated by 谷歌翻译
人形机器人可以在危险情况下取代人类，但大多数此类情况对他们来说同样危险，这意味着他们有很大的损害和下降的机会。我们假设人形机器人主要用于建筑物，这使它们可能靠近墙壁。为了避免跌倒，他们可以像人类那样靠在最接近的墙上，只要他们在几毫秒内找到手放手的地方。本文介绍了一种称为D-Reflex的方法，该方法学习了一个神经网络，该神经网络在墙壁方向，墙壁距离和机器人的姿势下选择此接触位置。然后，全身控制器使用此接触位置来达到稳定的姿势。我们表明，D-Reflex允许模拟的Talos机器人（1.75m，100kg，30自由度）避免了超过75％的可避免跌倒，并且可以在真正的机器人上工作。
translated by 谷歌翻译
文化代码切换涉及我们如何调整我们的整体行为，口语方式以及应对我们社会环境的感知变化。我们捍卫需要调查人工智能系统中的文化码切换能力。我们探索了一系列伦理和认识的问题，当培养文化代码切换到人工智能时出现。建立在Dotson的（2014）分析证言窒息的分析，我们讨论了AI中的新兴技术如何产生认识的压迫，具体而言，我们称之为“文化闷闷不乐”的自我沉默形式。通过离开文化代码切换的社会动态特征，通过扩大机遇差距和进一步根深蒂固的社会不平等，AI系统的风险负面影响已经边缘化的社会群体。
translated by 谷歌翻译
扩张的卷积基本上是通过定期插入内核元素之间的空格而创建的更宽内核的卷积。在本文中，我们提出了一种新版本的扩张卷积，其中通过通过插值技术通过反向化进行了学习的间距。我们称这种方法“通过学习间距扩张卷积”（DCLS），并推广其对N维卷积案例的方法。但是，我们这里的主要焦点将是我们开发了两种实现的2D案例：一个天真的外壳：一个天真的一个，它构建了适合小的扩张率的扩张内核，以及使用“IM2COL的修改版本的时间/记忆有效的内核” “ 算法。然后，我们通过DCLS ONE通过简单的替换，我们如何通过简单的替换DCLS替换该技术如何通过简单的替换置换古典扩张的卷积层对Pascal VOC 2012 DataSet上的现有架构的准确性。此外，我们表明DCLS允许减少最近Convmixer架构中使用的深度卷曲的学习参数的数量，其因子3具有NO或非常低的准确性，并且通过用稀疏DCLS替换大型密集内核。该方法的代码基于Pytorch，可用于：https://github.com/k-h-imail/dilated-convolution-with-learnable-pacings-pytorch。
translated by 谷歌翻译
2021-09-28
深度估计是一个重要的计算机视觉任务，特别是用于自主车辆中的导航，或者在机器人中的对象操纵。在这里，我们使用端到端的神经形态方法解决了它，将两个事件的相机和尖峰神经网络（SNN）与略微修改的U-Net的编码器 - 解码器架构结合起来，我们命名为Sterepike。更具体地说，我们使用了多车辆立体声事件相机数据集（MVSEC）。它提供了深度地面真理，用于使用替代梯度下降以监督方式训练立体摩托车。我们提出了一种新颖的读数范式来获得密集的模拟预测 - 从解码器的尖峰中获得每个像素的深度。我们证明，这种体系结构概括得非常好，甚至比其非尖峰对应物更好，导致最先进的测试精度。据我们所知，这是第一次通过完全尖峰网络解决了这样一个大规模的回归问题。最后，我们表明，可以通过规范化获得低发射速率（<10％），精度最低的成本。这意味着可以在神经芯片上有效地实现Sterepositike，用于为低功率和实时嵌入式系统开门。
translated by 谷歌翻译